最佳运输问题在机器学习,物理,生物学,经济学等中有许多应用。虽然其目标非常清晰,数学上定义,找到其最佳解决方案可能对高维空间中的大型数据集具有挑战。在这里,我们提出了一种同型算法,首先通过改变目标分布来将问题转换为简单的形式。然后,通过一系列迭代将问题转换回原始形式,追踪解决方案的路径,直到它找到原始问题的最佳解决方案。我们将同型路径定义为基于正交径向问题的子空间旋转,然后我们使用旋转矩阵的特征值分解来离散同谐波路径。我们的目标是提供一种复杂性绑定$ \ mathcal {o}(n ^ 2 \ log(n))$的算法,而不是文献中的现有方法。
translated by 谷歌翻译
我们研究深度学习图像分类模型的功能任务,并显示图像分类需要外推能力。这表明必须开发新的理论,以了解深度学习,因为当前的理论假设模型完全插值,留下了许多关于他们未答复的问题。我们研究了像素空间,并且还通过经过培训的模型从图像中提取的特征空间(在其隐藏的层中,包括预先训练的残余神经网络的最后一个隐藏层中的64维特征空间),以及提取的特征空间小波/沉索。在所有这些领域中,测试样品大大落在训练集的凸壳外,图像分类需要推断。与深入学习文学相比,在认知科学,心理学和神经科学,推断和学习通常在串联中研究。此外,据报道,人类视觉认知和行为的许多方面涉及推断。我们为深层学习模型的数学研究提出了一种新的外推框架。在我们的框架中,我们在训练集的凸壳外外推开的这种特定方式外推,但在训练数据定义的特定范围内,在许多范围内定义了相同的方式认知科学研究。我们解释说,我们的外推框架可以为深入学习的开放研究问题提供新的答案,包括他们的过参数化,培训制度,分发检测等。我们还看到学习任务的推断程度可以忽略不计据报道,深度学习与简单模型没有优势。
translated by 谷歌翻译
Graph convolutional neural networks have shown significant potential in natural and histopathology images. However, their use has only been studied in a single magnification or multi-magnification with late fusion. In order to leverage the multi-magnification information and early fusion with graph convolutional networks, we handle different embedding spaces at each magnification by introducing the Multi-Scale Relational Graph Convolutional Network (MS-RGCN) as a multiple instance learning method. We model histopathology image patches and their relation with neighboring patches and patches at other scales (i.e., magnifications) as a graph. To pass the information between different magnification embedding spaces, we define separate message-passing neural networks based on the node and edge type. We experiment on prostate cancer histopathology images to predict the grade groups based on the extracted features from patches. We also compare our MS-RGCN with multiple state-of-the-art methods with evaluations on both source and held-out datasets. Our method outperforms the state-of-the-art on both datasets and especially on the classification of grade groups 2 and 3, which are significant for clinical decisions for patient management. Through an ablation study, we test and show the value of the pertinent design features of the MS-RGCN.
translated by 谷歌翻译
Building an accurate model of travel behaviour based on individuals' characteristics and built environment attributes is of importance for policy-making and transportation planning. Recent experiments with big data and Machine Learning (ML) algorithms toward a better travel behaviour analysis have mainly overlooked socially disadvantaged groups. Accordingly, in this study, we explore the travel behaviour responses of low-income individuals to transit investments in the Greater Toronto and Hamilton Area, Canada, using statistical and ML models. We first investigate how the model choice affects the prediction of transit use by the low-income group. This step includes comparing the predictive performance of traditional and ML algorithms and then evaluating a transit investment policy by contrasting the predicted activities and the spatial distribution of transit trips generated by vulnerable households after improving accessibility. We also empirically investigate the proposed transit investment by each algorithm and compare it with the city of Brampton's future transportation plan. While, unsurprisingly, the ML algorithms outperform classical models, there are still doubts about using them due to interpretability concerns. Hence, we adopt recent local and global model-agnostic interpretation tools to interpret how the model arrives at its predictions. Our findings reveal the great potential of ML algorithms for enhanced travel behaviour predictions for low-income strata without considerably sacrificing interpretability.
translated by 谷歌翻译
We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.
translated by 谷歌翻译
物理知识的神经网络(PINNS)最近由于解决前进和反向问题的能力而受到了很多关注。为了训练与PINN相关的深层神经网络,通常会使用不同损失项的加权总和构建总损耗函数,然后尝试将其最小化。这种方法通常会成为解决刚性方程式的问题,因为它不能考虑自适应增量。许多研究报告说,PINN的性能不佳及其在模拟僵硬的普通差分条件(ODE)条件下模拟僵硬的化学活动问题方面的挑战。研究表明,刚度是PINN在模拟刚性动力学系统中失败的主要原因。在这里,我们通过提出减少损失函数的弱形式来解决这个问题,这导致了新的PINN结构(进一步称为还原Pinn),该结构利用降低的集成方法来使Pinn能够求解僵硬的化学动力学。所提出的还原细菌可以应用于涉及僵硬动力学的各种反应扩散系统。为此,我们将初始价值问题(IVP)转换为它们的等效积分形式,并使用物理知识的神经网络求解所得的积分方程。在我们派生的基于积分的优化过程中,只有一个术语,而没有明确合并与普通微分方程(ODE)和初始条件(ICS)相关的损失项。为了说明减少细菌的功能,我们用它来模拟多个僵硬/轻度的二阶频率。我们表明,还原的Pinn可准确捕获刚性标量颂歌的溶液。我们还针对线性ODES的硬质系统验证了还原的Pinn。
translated by 谷歌翻译
消费者和生产商参与需求响应计划的智能电网有所增加,从而降低了电力系统的投资和运营成本。同样,随着可再生能源的出现,电力市场变得越来越复杂和不可预测。为了有效地实施需求响应计划,预测电力的未来价格对于电力市场的生产商至关重要。电价非常波动,在各种因素的影响下发生变化,例如温度,风速,降雨,商业和日常活动的强度等。因此,将影响因素视为因变量可以提高预测的准确性。在本文中,根据门控复发单元提出了电价预测模型。电负荷消耗被认为是该模型中的输入变量。电价中的噪音严重降低了分析的效率和有效性。因此,将自适应降噪的减少器集成到模型中以减少降噪。然后,SAE用于从售电价中提取功能。最后,馈入GRU以训练预测变量。实际数据集上的结果表明,所提出的方法可以在预测电价方面有效地执行。
translated by 谷歌翻译
联邦学习的出现在维持隐私的同时,促进了机器学习模型之间的大规模数据交换。尽管历史悠久,但联邦学习正在迅速发展,以使更广泛的使用更加实用。该领域中最重要的进步之一是将转移学习纳入联邦学习,这克服了主要联合学习的基本限制,尤其是在安全方面。本章从安全的角度进行了有关联合和转移学习的交集的全面调查。这项研究的主要目标是发现可能损害使用联合和转移学习的系统的隐私和性能的潜在脆弱性和防御机制。
translated by 谷歌翻译
我们提出了Unified-io,该模型执行了跨越经典计算机视觉任务的各种AI任务,包括姿势估计,对象检测,深度估计和图像生成,视觉和语言任务,例如区域字幕和引用表达理解,并引用表达理解,进行自然语言处理任务,例如回答和释义。由于与每个任务有关的异质输入和输出,包括RGB图像,每个像素映射,二进制掩码,边界框和语言,开发一个统一模型引起了独特的挑战。我们通过将每个受支持的输入和输出均匀地均匀地统一到一系列离散的词汇令牌来实现这一统一。在所有任务中,这种共同的表示使我们能够在视觉和语言字段中的80多个不同数据集上培训单个基于变压器的体系结构。 Unified-io是第一个能够在砂砾基准上执行所有7个任务的模型,并在NYUV2-DEPTH,Imagenet,VQA2.0,OK-VQA,SWIG,SWIG,VIZWIZ,BOOLQ,BOOLQ和SCITAIL,带有NYUV2-DEPTH,Imagenet,VQA2.0,诸如NYUV2-DEPTH,ImageNet,vqa2.0等16个不同的基准中产生强大的结果。没有任务或基准特定的微调。 unified-io的演示可在https://unified-io.allenai.org上获得。
translated by 谷歌翻译
当今的最先进的视觉导航代理通常由大型深度学习模型端到端组成。这样的模型几乎没有关于学习的技能或对环境所采取的代理商的行为几乎没有解释性。尽管过去的作品探索了解释深度学习模型,但很少关注解释体现的AI系统,这通常涉及对环境结构,目标特征和行动的结果进行推理。在本文中,我们介绍了用于点目标和对象目标导航剂的具体代理(ISEE)的可解释性系统。我们使用ISEE来探测这些试剂产生的动态表示,以了解有关代理和环境的信息。我们在使用ISEE的情况下展示了有关导航剂的有趣见解,包括能够编码可到达位置的能力(避免障碍),目标的可见性,最初产卵位置的进展以及当我们掩盖关键关键时对代理行为的巨大影响个别神经元。该代码可在以下网址找到:https://github.com/allenai/isee
translated by 谷歌翻译